Rectificador (redes neuronales)

En el contexto de las redes neuronales artificiales, el rectificador es una función de activación definida como:

${\displaystyle f(x)=\max(0,x)}$

Donde 'x' es la entrada de la neurona. También es conocida como función rampa y es análoga a la rectificación de media onda en electrónica. La función de activación activa los pesos de una neurona según el resultado de dicha neurona en el mundo de la inteligencia artificial.

El primer uso documentado de esta función de activación en una red dinámica fue descrito por Hahnloser et al. en un artículo del año 2000^[1]​ en donde se presenta su bioinspiración y el fundamento matemático.^[2]​ Se utiliza en redes neuronales convolucionales^[3]​ para obtener resultados de menor error que los generados con función logística (la cual es inspirada por la teoría de la probabilidad) y existe evidencia que es más práctica^[4]​ que su contraparte, la función hiperbólica. El rectificador es una función de activación común en redes neuronales profundas.^[5]​

Las unidades que emplean el rectificador son conocidas como unidad lineal rectificada (ReLU, por sus siglas en inglés).

Una aproximación "suave" del rectificador es la función analítica:

${\displaystyle f(x)=\ln(1+e^{x}),}$

conocida como función softplus.^[6]​ La derivada de dicha función es ${\displaystyle f'(x)=e^{x}/(e^{x}+1)=1/(1+e^{-x})}$, p.e. la función logística.

La ReLU se emplean en visión artificial^[3]​ y reconocimiento de voz^[7]​^[8]​ usando redes neuronales profundas.

1. ↑ R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung (2000). «Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit». Nature 405: 947-951. 
2. ↑ R Hahnloser, H.S. Seung (2001). Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks. NIPS 2001. 
3. ↑ ^{a b} Xavier Glorot, Antoine Bordes and Yoshua Bengio (2011). Deep sparse rectifier neural networks. AISTATS. Archivado desde el original el 13 de diciembre de 2016. Consultado el 19 de octubre de 2017. 
4. ↑ Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). «Efficient BackProp». En G. Orr and K. Müller, ed. Neural Networks: Tricks of the Trade. Springer. 
5. ↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). «Deep learning». Nature 521 (7553): 436-444. Bibcode:2015Natur.521..436L. PMID 26017442. doi:10.1038/nature14539. 
6. ↑ C. Dugas, Y. Bengio, F. Bélisle, C. Nadeau, R. Garcia, NIPS'2000, (2001),Incorporating Second-Order Functional Knowledge for Better Option Pricing.
7. ↑ László Tóth (2013). Phone Recognition with Deep Sparse Rectifier Neural Networks. International Conference on Acoustics, Speech and Signal Processing. 
8. ↑ Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models Archivado el 19 de junio de 2018 en Wayback Machine.